Ông sinh ở Hà Nội nhưng nguyên quán ở Từ Ô, huyện Thanh Miện, Hải Dương. Cha ông là Trần Văn Cận, cử nhân triều nhà Nguyễn nhưng không ra làm quan. Thuở nhỏ Trần Văn Giáp theo nho học. Năm 14 tuổi ông dự thí kỳ thi hương cuối cùng tại Bắc Kỳ. Bốn năm sau ông ra làm việc ở Trường Viễn Đông Bác cổ (École Française d'Extreme-Orient). Năm 1927 ông sang Pháp du học ở École Pratique des Hautes Études à la Sorbonne theo học trong Intistut des Hautes Études Chinoises. Khi về nước năm 1932, ông trở lại làm việc ở Trường Viễn Đông Bác cổ, chuyên về thời đại Trung cổ.

Ông cùng với học giả Hoàng Xuân Hãn và Vũ Hy Trác là người sáng lập Hội Truyền bá Quốc ngữ, theo đó là cuốn Vần quốc ngữ đề xướng học chữ Việt theo phương pháp "i-tờ".

Ông từng làm việc ở Bộ Giáo dục, Ban nghiên cứu Sử - Địa thuộc Vụ Văn học nghệ thuật, Ban nghiên cứu Văn - Sử - Địa (tiền thân của Viện Sử học), nghiên cứu các sách cổ chữ Nho và chữ Nôm, nghỉ hưu năm 1970.

Ông mất ngày 25 tháng 11 năm 1973 tại Hà Nội. Ông được truy tặng Giải thưởng Hồ Chí Minh đợt II về khoa học và công nghệ năm 2001.

Lúc ông mất thì vợ cả và 3 con của ông đang sống trong miền Nam, không ra Bắc được. Hai con trai ông từng là Bộ trưởng trong chính quyền Việt Nam Cộng hòa. Việc tổ chức tang lễ do Bộ trưởng Nguyễn Văn Huyên đảm nhiệm.